#Structured Output

3 篇

Intern-Decision: Efficient Multimodal Decision Making with Autoregressive Masked Language Modeling

Intern-Decision：自回归掩码语言建模的高效多模态决策模型

🧭 Agent 结构化决策 · 多模态小模型 ★ 深度解读

Shanghai AI Lab · Shanghai Jiao Tong University · Fudan University · Nanyang Technological University

用单次前向的自回归掩码决策替代自由文本生成，输出结构化选择与候选概率，4B模型七套评测集平均准确率90.02%

📌 工作参考价值（4 点）

用“掩码决策字段 + 单次前向”替代 free-form JSON 生成或逐字段循环打分，适合电商/广告中高频闭集判断：意图分类、tool routing、风控/安全审核、多字段表单决策等。
保留 Qwen 等 causal backbone 与 native LM head，在 assistant skeleton 的 <decision> 占位符前一个 token 读 logits，对 legal options 做 softmax 得到候选概率；无需额外分类头或逐字段前向，且多字段共享 state，减少重复 prefill。
对概率输出做 post-hoc temperature scaling 能显著改善 Brier / ECE；可用小模型置信度阈值触发大模型接管，适合难例路由、广告审核升级、搜索结果重排等场景，在精度和成本之间选操作点。
多模态输入（文本+可选图像）输出离散动作，适合 GUI Agent、商品图审核、直播画面判断等“看截图→做选择”的闭环任务；训练时冻结 vision tower 可低成本复用预训练视觉能力。

Agent | 2026-10-14 | HF Daily | score 8/10

LLM2Jev：LLM 已是 Jev 风格决策模型——何时及如何微调

🧭 LLM 决策建模与结构化输出

Microsoft

提出 LLM2Jev 框架，直接利用括号数字标识符的 next-token 概率提取校准决策，无需训练即可让 4B LLM 匹配专用 Jev 模型

📌 工作参考价值（4 点）

电商/广告中的意图路由、分类、证据校验等决策任务，可直接用 LLM 输出括号数字标识符（如 [1]、[2]），从 next-token 概率读取每个选项的概率分布，完全跳过文本生成与解析，降低延迟并消除格式错误风险。
面对任意数量的候选选项（如商品类目、投放策略），无需预先确定选项个数，框架天然支持动态选项集，适合线上 A/B 测试和策略切换。
对于弱基座模型或高难度多选项任务，用 LoRA + 树因子化 listwise loss + KL 锚定微调可稳定提升决策准确率，同时保持对话/文本生成能力不退化；强基座模型则可直接零样本使用，节省训练成本。
多模态决策支持：可直接对图像输入（如商品图）做决策，无需额外适配，适合电商图文混合场景。

LLM | 2026-10-01 | cs.CL | score 7/10

开放权重LLM中的约束税：结构化输出导致工具调用抑制的实证研究

🧭 Agent工具调用与结构化输出约束交互 ★ 深度解读

Focus AI Center, Focus Technology Co., Ltd. · Nanjing University of Science and Technology

多个开源模型在工具调用与JSON Schema约束共存时工具调用被完全抑制，根因是语法解码掩码排除工具token，并提出两阶段执行缓解

📌 工作参考价值（4 点）

在电商/推荐Agent中，若同时启用工具调用（如检索数据库、调用API）与JSON Schema结构化输出，需警惕工具调用被静默抑制的风险。生产环境可考虑解耦：先执行工具调用获取结果，再让模型生成符合schema的最终回复，避免约束在解码层互相冲突。
推理框架选型时注意：SGLang/vLLM等通过语法掩码强制schema合规，会从logits层面排除工具调用token（如XML标签的<）。若必须同时约束，可探索允许工具调用token的混合语法，或使用非掩码的schema引导（如仅靠prompt约束）。
评估Agent系统不能仅独立测试工具使用和格式合规。必须设计联合约束下的端到端成功率测试，监控工具调用率与抑制率，防止上线后出现“格式合规但未获取外部数据”的隐性失效。
微调（SFT、GRPO等）无法绕过掩码层限制，因为权重优化在掩码之前。该发现表明，常规对齐手段无法解决此问题，需要从推理栈层面进行工程化防护。

Agent | 2026-06-24 | cs.CL | score 8/10